使用 MoveNet 和 TensorFlow.js 的下一代姿态检测

您所在的位置:网站首页 tensorflow js 训练 使用 MoveNet 和 TensorFlow.js 的下一代姿态检测

使用 MoveNet 和 TensorFlow.js 的下一代姿态检测

2024-07-10 15:49| 来源: 网络整理| 查看: 265

Image

Image

发布人:Ronny Votel 和 Na Li,Google Research 团队

今天,我们很高兴推出最新的姿态检测模型 MoveNet,并在 TensorFlow.js 中添加了新的姿态检测 API。MoveNet 是一种非常快速和准确的模型,可检测人体的 17 个关键点。该模型已在 TF Hub 上提供,有两个变体,分别称为“Lightning”和“Thunder”。Lightning 适用于对延迟要求严格的应用,而 Thunder 适用于对准确性要求较高的应用。两种模型变体在大多数现代台式机、笔记本电脑和手机上的运行速度均快于实时速度 (30+ FPS),这对于直播健身、运动和健康应用至关重要。通过完全在客户端运行该模型的方式可实现对运行速度的需求,即在使用 TensorFlow.js 的浏览器中运行且在初始页面加载后不需要服务器调用,也不需要安装任何依赖项。

TF Hub/运行

http://tensorflow.google.cn/hub

Lightning

https://hub.tensorflow.google.cn/google/tfjs-model/movenet/singlepose/lightning/3

Thunder

https://hub.tensorflow.google.cn/google/tfjs-model/movenet/singlepose/thunder/3

试用实时演示版!

https://storage.googleapis.com/tfjs-models/demos/pose-detection/index.html?model=movenet

Image

 MoveNet 可通过快速动作和非典型姿态来跟踪关键点

【想获取 TensorFlow js. 视频教程,请前往 Bilibili,TensorFlow 渠道查看:https://www.bilibili.com/video/BV1D54y1p7PQ】

在过去五年里,人体姿态估计研究已有了长足的发展,但是令人惊讶的是,目前部署这类模型的应用还不够多。导致这种情况的原因在于,我们将更多的注意力放在了扩大姿态模型规模和提高准确性上,而不是通过工程设计以使其在任何位置都可以快速部署。借助 MoveNet,我们的任务是设计和优化模型,使其能够利用最新架构的各个最佳优势领域,同时尽可能缩短推理时间。结果我们得到了可以在各种姿态、环境和硬件设置中提供准确关键点的模型。

利用 MoveNet 解锁健康直播应用

我们与数字健康和表现公司 IncludeHealth 展开了合作,以了解 MoveNet 是否可以为患者提供远程医疗服务。IncludeHealth 开发了一款交互式 Web 应用,可以指导患者在家中(使用手机、平板电脑或笔记本电脑)舒适地完成各种日常练习。这些日常练习由物理治疗师以数字方式构建和规定,以测试平衡能力、力量和运动范围。

这项服务需要使用网络且在本地运行姿态模型来保护隐私。此类模型可以在高帧率下提供精确的关键点ÿ



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3